Trước năm 1975, ông tham gia cách mạng tại quê nhà và được kết nạp vào Đảng Cộng sản Việt Nam ngày 15 tháng 11 năm 1973 (chính thức: 15 tháng 8 năm 1974). Năm 1977, ông theo học khoa Xây dựng trường Đại học Bách khoa Thành phố Hồ Chí Minh và tốt nghiệp ngành Công trình Thủy lợi năm 1982. Trong thời gian học Đại học Bách khoa ông là Đảng ủy viên Đảng bộ trường phụ trách công tác sinh viên. Ông bắt đầu thăng tiến kể từ khi chuyển sang ngành an ninh.

Hoạt động trong ngành Công an

Ông bắt đầu công tác tại Phòng An ninh Nội bộ PA 17, Công an Thành phố Hồ Chí Minh, 1985 giữ chức Phó phòng(PA17), tham gia nhiều vụ án lớn tại khu vực phía Nam. Năm 1988, ông làm Thư ký cho Thứ trưởng Bộ Nội vụ kiêm Giám đốc Công an Thành phố Hồ Chí Minh Lâm Văn Thê. Khi tướng Thê đột ngột mất 1990, ông Bình về chờ công tác khác tại phòng tổ chức Công an Thành phố Hồ Chí Minh. Trong thời gian này, ông học bổ túc và sau đó tốt nghiệp Đại học An ninh Nhân dân; ông được điều về Tổng cục An ninh, giữ chức Cục phó Cục An ninh văn hóa A25 năm 1991, là Cục phó An ninh trẻ tuổi nhất ở thời điểm đó.

Đại biểu Quốc hội Việt Nam khóa X TP. Hồ Chí Minh

Ông được bầu làm Đại biểu Quốc hội Việt Nam khóa X TP. Hồ Chí Minh nhiệm kì 1997-2002.

Tháng 6 năm 1997, sau khi ông Bùi Quốc Huy đương nhiệm Tổng cục trưởng Tổng cục An ninh, Bộ Công an được điều động làm Giám đốc Công an Thành phố Hồ Chí Minh, thì ông Bình được điều về làm Phó giám đốc Công an Thành phố Hồ Chí Minh kiêm thủ trưởng Cơ quan An ninh điều tra với quân hàm Thượng tá. Năm 2000, ông được thăng quân hàm Đại tá.

Tháng 4 năm 2001 ông được điều sang làm Viện trưởng Viện kiểm sát nhân dân Thành phố Hồ Chí Minh. Trong thời gian này, ông thụ lý vụ án Năm Cam, là vụ án mà ông trực tiếp tham gia chỉ đạo điều tra khi làm Thủ trưởng cơ quan An ninh điều tra.

Đại biểu Quốc hội Việt Nam khóa XI TP. Hồ Chí Minh

Ông được bầu làm Đại biểu Quốc hội Việt Nam khóa XI TP. Hồ Chí Minh nhiệm kì 2002-2007.

Năm 2005 ông được điều trở lại Bộ Công an, giữ chức Phó Tổng cục trưởng Tổng cục Xây dựng Lực lượng, hàm Đại tá.

Năm 2006, ông được thăng hàm Thiếu tướng và được bổ nhiệm giữ chức Thứ trưởng Bộ Công an. Chỉ một năm sau, năm 2007, ông được thăng quân hàm Trung tướng.

Đại biểu Quốc hội Việt Nam khóa XII tỉnh Long An

Tại Đại hội Đại biểu toàn quốc lần thứ 10 của Đảng Cộng sản Việt Nam tháng 4 năm 2006 tại Hà Nội, ông được bầu vào Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá X.

Ông trúng cử đại biểu Quốc hội Việt Nam khóa XII tại Long An nhiệm kỳ 2007-2011 với tỷ lệ phiếu 71%.

Theo trang web của Quốc hội Việt Nam thì trình độ học lực của ông là Tiến sĩ Luật học, Cao học khoa học lịch sử, Đại học Bách khoa (khoa Công trình Thủy lợi)[11].

Trong nghị quyết Số: 373/NQ-HĐBC ngày 24 tháng 4 năm 2007 của Hội đồng bầu cử công bố danh sách người ứng cử Đại biểu QH khóa XII thì ông có trình độ học vấn là Tiến sĩ Luật. Tuy nhiên, cũng Nghị quyết của cơ quan này sau 4 năm (Nghị quyết Số: 351 /NQ-HĐBC ngày 26/4/2011) khi công bố người ứng cử Quốc hội khóa XIII thì học vị của ông đã lùi một bậc và chỉ còn là Thạc sĩ Luật.

Tháng 1 năm 2011, tại Đại hội Đại biểu toàn quốc lần thứ 11 của Đảng Cộng sản Việt Nam tại Hà Nội, ông được bầu vào Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa XI, được Trung ương bầu vào Ban Bí thư.[12]

Chánh án Tòa án nhân dân tối cao Quốc hội khóa XII

Ngày 25 tháng 7 năm 2007, ông được bầu giữ chức Chánh án Tòa án Nhân dân tối cao Việt Nam Quốc hội Việt Nam khóa XII nhiệm kì 2007-2011.

Tháng 7 năm 2010, ông phản đối quy định cụ thể việc tổ chức, cá nhân có quyền khởi kiện một quyết định của Thủ tướng Chính phủ ra tòa hành chính.[13]

Đại biểu Quốc hội Việt Nam khóa XIII tỉnh Long An

Ông được bầu làm Đại biểu Quốc hội Việt Nam khóa XIII tỉnh Long An nhiệm kì 2011-2016.[14]

Chánh án Tòa án nhân dân tối cao Quốc hội khóa XIII

Tháng 7 năm 2011: Tại  Kỳ họp lần thứ nhất, Quốc hội khóa XIII, ông tiếp tục được bầu giữ chức Chánh án Tòa án nhân dân tối cao Quốc hội khóa XIII nhiệm kì 2011-2016.[15]

Phó thủ tướng thường trực Chính phủ khóa XIII

Tháng 1 năm 2016: Tại Đại hội đại biểu toàn quốc lần thứ XII của Đảng được bầu vào Ban Chấp hành Trung ương Đảng, được Trung ương bầu vào Bộ Chính trị[16].

Ngày 9 tháng 4 năm 2016, ông được bầu làm Phó Thủ tướng Thường trực Chính phủ nước Cộng hòa Xã hội Chủ nghĩa Việt Nam

Đại biểu Quốc hội Việt Nam khóa XIV tỉnh Long An

Ngày 22 tháng 5 năm 2016, ông trúng cử Đại biểu Quốc hội Việt Nam khóa XIV tại tỉnh Long An với tỷ lệ phiếu 81,19%.[17]

Ông được Thủ tướng Nguyễn Xuân Phúc phân công làm nhiệm vụ Phó Bí thư Ban cán sự Đảng Chính phủ.[18]

Ngày 28 tháng 7 năm 2016, ông được bầu làm Phó Thủ tướng Thường trực Chính phủ nước Cộng hòa Xã hội Chủ nghĩa Việt Nam khóa XIV.